Benchmarking and Enhancing LLMs for Rule-Intensive Review of National Standard Documents
国家标准文档规则密集型审查的LLM基准与多智能体增强
🧭 文档审查基准与多智能体增强
School of Computer Science, South China Normal University, Guangzhou, China · School of Artificial Intelligence, Shanghai Jiao Tong University, Shanghai, China · China National Institute of Standardization, Beijing, China
构建首个国家标准文档审查基准GB/T-Bench与多智能体GB/T-Reviewer，将最佳CMCS从0.3280提升至0.5094
📌 工作参考价值（3 点）
- 多智能体架构可将文档审查知识模块化为专门技能（全局检查、目标诊断、规则扫描、结果验证），适合电商商品信息合规审核、广告文案规则检查等场景，直接复用“技能分工+结果验证”协作模式。
- 可控反例生成机制（确定性规则+约束LLM重写）能低成本构造带细粒度错误标签的数据集，可迁移至推荐系统、对话系统等领域的负面测试用例构建。
- 诊断型评估协议（精确匹配错误位置、审查维度和错误类型）提供了一种细粒度能力评估范式，可用于定位推荐理由生成或内容审核模型的薄弱环节。